바둑 인공지능(AI) 알파고로 유명한 구글 딥마인드가 AI 로봇을 훈련시켜 1대1 축구를 시연한 연구 결과를 국제 학술지 ‘사이언스 로보틱스’에 최근 공개했다. 걸음마를 배우는 아기처럼 일어서는 방법부터 가르쳐 드리블, 압박 수비, 슈팅까지 하는 ‘축구 선수’로 키우는 데 성공했다. 이 과정에 로봇이 가상 세계에서 자기 분신과 1대1로 맞붙는 시뮬레이션 훈련으로 실력을 키워 눈길을 끈다.
딥마인드 연구진 28명이 공동 저자로 참여한 이번 논문에 따르면, AI 로봇은 딥러닝과 강화 학습을 결합한 ‘심층 강화 학습’으로 훈련받았다. 이는 가장 많은 보상을 받는 최적 행동을 찾아가는 방법으로, 로봇이 시행착오를 통해 개선점을 배워가면서 실력을 끌어올리도록 했다. 연구진은 우선 가상 환경에서 로봇이 넘어졌을 때 일어나는 법을 집중적으로 가르쳤다. 축구를 한다는 로봇이 그라운드에서 일어나지 못한다면, 무하마드 알리와 벌인 대결에서 온종일 누워있던 프로레슬러 안토니오 이노키와 같은 꼴이 되기 때문이다. 재빨리 일어나는 법을 익힌 로봇은 축구의 기본 기술을 배웠다. 자신을 복제한 로봇과 1대1로 가상 대결을 벌이면서 실력을 연마했다. 연구진은 이렇게 익힌 축구 기술을 실제 로봇에 적용하기 위해 50㎝ 키에 스무 관절로 이뤄진 로봇 한 쌍을 제작했고, 실제 경기장에 투입했다.
놀랍게도 가상으로 배운 축구 실력을 실제 로봇이 경기장에서 손색없이 구현했다. 연구진이 이처럼 시뮬레이션으로 익힌 기술을 실제 동작에 바로 적용한 것을 ‘제로 샷 트랜스퍼(Zero-Shot Transfer)’라고 한다. 1대1 축구 시합을 벌인 로봇은 드리블할 때와 상대 공을 빼앗으러 갈 때 보폭을 달리한 것을 비롯, 상대 슛의 경로를 예측해 몸으로 골을 막아내는 수비 실력도 뽐냈다. 상대를 등지고 순간적으로 방향을 바꾸는 동작과, 공을 컨트롤하는 발재간도 보여줬다.
이에 대해 연구진은 “스스로 훈련한 AI 로봇은 인간의 수동 프로그래밍으로는 구현하기 어려운 동작들도 해냈다”고 했다. 개발자가 미리 정의해 놓은 알고리즘에 따라 움직이도록 설계한 로봇에선 나올 수 없는 창의적 기술을 선보였다는 것이다.
이번 연구에서 심층 강화 학습으로 훈련한 로봇은 일반 로봇보다 걷는 속도가 1.8배 빨랐고, 돌아서는 속도는 3배에 달하는 것으로 조사됐다. 넘어졌을 때 일어나는 데 걸린 시간은 일반 로봇의 63%로 훨씬 짧았다. 1대1 축구를 하며 스스로 배운 로봇이 인간의 지도를 받은 로봇보다 빨리 달리고, 금세 일어나고, 공을 차는 속도도 빨랐다는 것이다.
.png?type=nf190_130)
